An Empirical Analysis of Factual Errors in Human-Written Text and its Application
人类撰写文本事实错误检测实证分析与应用
🧭 事实错误检测分类与 LLM 评估
Nikkei Inc.
提炼人类文本事实错误分类法，评估 LLM 检测能力，GPT-5.4 仅 52% F1
📌 工作参考价值（4 点）
- 在生成商品描述、推荐理由等文本时，可借鉴分类法（如数量词错误、实体误转换）设计事实性校验模块，提高内容可信度。
- 评估场景中可复现类似的合成测试方法，针对自身业务常见错误类型（如价格单位、商品属性）构造测试集，检验 LLM 的事实一致性。
- 观察到 LLM 对人类文本事实错误检测效果有限（F1 52%），提示在自动选品文案等场景中，不能完全依赖 LLM 自查，需加入后置规则或人工审核。
- 对于 Agent 系统，在调用 LLM 生成对外内容时，可针对分类法中特定错误类型设计提示模板，引导模型避免常见事实性错误。